Smart Camera Robotic Assistant for Laparoscopic Surgery

The cognitive architecture also includes learning mechanisms to adapt the behavior of the robot to the different ways of working of surgeons, and to improve the robot behavior through experience, in a similar way as a human assistant would do. The theoretical concepts of this dissertation have been validated both through in-vitro experimentation in the labs of medical robotics of the University of Malaga and through in-vivo experimentation with pigs in the IACE Center (Instituto Andaluz de Cirugía Experimental), performed by expert surgeons.In the last decades, laparoscopic surgery has become a daily practice in operating rooms worldwide, which evolution is tending towards less invasive techniques. In this scenario, robotics has found a wide field of application, from slave robotic systems that replicate the movements of the surgeon to autonomous robots able to assist the surgeon in certain maneuvers or to perform autonomous surgical tasks. However, these systems require the direct supervision of the surgeon, and its capacity of making decisions and adapting to dynamic environments is very limited. This PhD dissertation presents the design and implementation of a smart camera robotic assistant to collaborate with the surgeon in a real surgical environment. First, it presents the design of a novel camera robotic assistant able to augment the capacities of current vision systems. This robotic assistant is based on an intra-abdominal camera robot, which is completely inserted into the patient’s abdomen and it can be freely moved along the abdominal cavity by means of magnetic interaction with an external magnet. To provide the camera with the autonomy of motion, the external magnet is coupled to the end effector of a robotic arm, which controls the shift of the camera robot along the abdominal wall. This way, the robotic assistant proposed in this dissertation has six degrees of freedom, which allow providing a wider field of view compared to the traditional vision systems, and also to have different perspectives of the operating area. On the other hand, the intelligence of the system is based on a cognitive architecture specially designed for autonomous collaboration with the surgeon in real surgical environments. The proposed architecture simulates the behavior of a human assistant, with a natural and intuitive human-robot interface for the communication between the robot and the surgeon

Inclusión, discapacidad y educación: Enfoque práctico desde las Tecnologías Emergentes

El CIEE 2017 comparte posibilidades tecnológicas en un marco de inclusión social, educativa, cultural, laboral; el abordaje desde el servicio y por las personas que más requieren está marcado no por la energía potencial que la ciencia proyecta a través de sus artefactos tecnológicos, sino por la energía cinética que se obtiene cuando movilizamos a grandes masas de personas buscando un fin común llamado equidad. El CIEE espera una cobertura amplia en cuanto número de científicos, profesores universitarios, estudiantes; pero también de personas con discapacidad y otras con necesidades específicas de apoyo educativo. La ciencia de la inclusión con tecnologías se construye en común; es congruente la esencia inclusiva, expresada en la participación de todos, con la forma llamada tecnología. En esta línea, el presente libro recoge más de 50 contribuciones de diversos autores de Argentina, Ecuador, Chile, Colombia y Perú. Estos se organizan en tres partes: artículos científicos, pósters y resúmenes de charlas magistrales. Los artículos científicos se organizan en seis mesas temáticas que agrupan el trabajo de los autores considerando su contenido y objetivos: accesibilidad y uso, desarrollo de software educativo y entornos virtuales de aprendizaje; estimulación multisensorial; inclusión de las TIC en la educación especial; los nuevos modelos de intermediación con TIC y metodología de aprendizaje apoyado con las TIC

Robots capaces de aprender y adaptarse al entorno a partir de sus propias experiencias

Entre los objetivos reconocidos en la robótica actual destaca la necesidad de disponer de robots adaptables, capaces de aprender del usuario y de la propia experiencia. Esta adaptación se debe extender a todo el tiempo de vida del robot, los errores y aciertos del robot deben permitir que éste pueda modificar su comportamiento futuro. En este sentido, el paradigma de aprendizaje por refuerzo resulta muy prometedor en la medida en que permite que un robot aprenda sin más información que un refuerzo extrínseco que indica cuando las acciones realizadas son correctas o no. Los algoritmos tradicionales de aprendizaje por refuerzo se limitan a comportamientos reactivos simples y rara vez se aplican al aprendizaje directo en robots moviéndose en entornos reales. De hecho, el aprendizaje por refuerzo suele ser lento y requerir un proceso de exploración costoso. Por otra parte, el tiempo de aprendizaje se incrementa de forma exponencial con el número de estados (situaciones significativamente diferentes) que puede encontrar el robot. Con el objetivo de superar estas limitaciones en esta tesis se abordaron cuatro grandes objetivos: a) Algoritmos más interpretables y con menos parámetros: los algoritmos clásicos de aprendizaje por refuerzo intentan predecir el refuerzo futuro que el robot va a recibir. Esta información es difícilmente interpretable, lo que hace difícil corroborar si el proceso de aprendizaje se está llevando a cabo de forma correcta. Se ha desarrollado un nuevo algoritmo, llamado I_Tbf, capaz de aprender a predecir “cuándo el robot va a cometer un fallo”. La discrepancia entre lo que el sistema predice y lo que realmente sucede nos permite detectar problemas y corregirlos durante el propio proceso de aprendizaje. Las ventajas obtenidas con este algoritmo son: buenos tiempos de aprendizaje, un reducido número de parámetros y mayor interpretabilidad del proceso de aprendizaje. b) Aprendizaje simultáneo de percepción y acción: hemos creado un sistema capaz de aprender al mismo tiempo el espacio de estados y la acción a ejecutar en cada uno de estos estados. Partiendo de nuestro algoritmo I_Tbf, el sistema itera la política de control tratando de maximizar el tiempo a fallo. El espacio de estados se crea de forma dinámica: partiendo de un conjunto vacío se añaden nuevos estados a medida que el robot encuentra nuevas situaciones que no ha visto antes. La creación dinámica del espacio de estados evita el proceso de creación y evaluación de representaciones de estados ad hoc. Para lograr la generación dinámica de estados hemos recurrido a la Teoría de Resonancia Adaptativa (ART) adaptándola a nuestro problema. c) Reducción del tiempo de aprendizaje a través de la creación de comités de aprendedores: para acelerar los procesos de aprendizaje resulta conveniente recurrir a estrategias habituales en el campo de las redes neuronales artificiales dirigidas a evitar el “sobre-aprendizaje” y la falta de generalización. Por este motivo, el uso de comités de “aprendedores” que, mediante diferentes estrategias de voto ponderado, son capaces de seleccionar la acción que debe ejecutar el robot en cada instante, permiten acelerar el proceso de aprendizaje mientras se mantiene una buena generalización. Gracias al incremento de estabilidad proporcionado por el comité, se puede introducir el concepto de aprendizaje continuo, donde el sistema es capaz de aprender durante todo el ciclo de vida del robot, sin que el comportamiento sufra grandes inestabilidades. Se han realizado pruebas donde la señal de refuerzo era proporcionada por un usuario humano. Pese a que dicha señal tenía una gran componente no determinista, gracias a la estabilidad proporcionada por el comité de aprendedores el sistema es capaz de alcanzar la convergencia en pocos minutos. d) Determinación de la relevancia sensorial: muchas de las entradas sensoriales proporcionadas por los modernos sensores de alta resolución son irrelevantes para la tarea que el robot está intentando aprender. Estas dimensiones irrelevantes pueden provocar errores en las estrategias de clustering. Esto es algo conocido como la maldición de las dimensiones. En esta tesis se ha investigado el uso de criterios estadísticos basados en la teoría de la información, y la información mutua, para determinar, de forma dinámica, el subconjunto de sensores que es realmente relevante para lo que el robot quiere aprender. El uso de este subconjunto de sensores proporciona una reducción significativa del tiempo de aprendizaje, así como un aumento de la robustez de los comportamientos

Human-robot interaction system based on multimodal and adaptive dialogs

Mención Internacional en el título de doctorDurante los últimos años, en el área de la Interacción Humano-Robot (HRI), ha sido creciente el estudio de la interacción en la que participan usuarios no entrenados tecnológicamente con sistemas robóticos. Para esta población de usuarios potenciales, es necesario utilizar técnicas de interacción que no precisen de conocimientos previos específicos. En este sentido, al usuario no se le debe presuponer ningún tipo de habilidad tecnológica: la única habilidad interactiva que se le puede presuponer al usuario es la que le permite interaccionar con otros humanos. Las técnicas desarrolladas y expuestas en este trabajo tienen como finalidad, por un lado que el sistema/robot se exprese de modo y manera que esos usuarios puedan comprenderlo, sin necesidad de hacer un esfuerzo extra con respecto a la interacción con personas. Por otro lado, que el sistema/robot interprete lo que esos usuarios expresen sin que tengan que hacerlo de modo distinto a como lo harían para comunicarse con otra persona. En definitiva, se persigue imitar a los seres humanos en su manera de interactuar. En la presente se ha desarrollado y probado un sistema de interacción natural, que se ha denominado Robotics Dialog System (RDS). Permite una interacción entre el robot y el usuario usando los diversos canales de comunicación disponibles. El sistema completo consta de diversos módulos, que trabajando de una manera coordinada y complementaria, trata de alcanzar los objetivos de interacción natural deseados. RDS convive dentro de una arquitectura de control robótica y se comunica con el resto de sistemas que la componen, como son los sistemas de: toma de decisiones, secuenciación, comunicación, juegos, percepción sensoriales, expresión, etc. La aportación de esta tesis al avance del estado del arte, se produce a dos niveles. En un plano superior, se presenta el sistema de interacción humano-robot (RDS) mediante diálogos multimodales. En un plano inferior, en cada capítulo se describen los componentes desarrollados expresamente para el sistema RDS, realizando contribuciones al estado del arte en cada campo tratado. Previamente a cada aportación realizada, ha sido necesario integrar y/o implementar los avances acaecidos en su estado del arte hasta la fecha. La mayoría de estas contribuciones, se encuentran respaldadas mediante publicación en revistas científicas. En el primer campo en el que se trabajó, y que ha ido evolucionando durante todo el proceso de investigación, fue en el campo del Procesamiento del Lenguaje Natural. Se ha analizado y experimentado en situaciones reales, los sistemas más importantes de reconocimiento de voz (ASR); posteriormente, algunos de ellos han sido integrados en el sistema RDS, mediante un sistema que trabaja concurrentemente con varios motores de ASR, con el doble objetivo de mejorar la precisión en el reconocimiento de voz y proporcionar varios métodos de entrada de información complementarios. Continuó la investigación, adaptando la interacción a los posibles tipos de micrófonos y entornos acústicos. Se complementó el sistema con la capacidad de reconocer voz en múltiples idiomas y de identificar al usuario por su tono de voz. El siguiente campo de investigación tratado corresponde con la generación de lenguaje natural. El objetivo ha sido lograr un sistema de síntesis verbal con cierto grado de naturalidad e inteligibilidad, multilenguaje, con varios timbres de voz, y que expresase emociones. Se construyó un sistema modular capaz de integrar varios motores de síntesis de voz. Para dotar al sistema de cierta naturalidad y variabilidad expresiva, se incorporó un mecanismo de plantillas, que permite sintetizar voz con cierto grado de variabilidad léxica. La gestión del diálogo constituyo el siguiente reto. Se analizaron los paradigmas existentes, y se escogió un gestor basado en huecos de información. El gestor escogido se amplió y modificó para potenciar la capacidad de adaptarse al usuario (mediante perfiles) y tener cierto conocimiento del mundo. Conjuntamente, se desarrollo el módulo de fusión multimodal, que se encarga de abstraer la multimodalidad al gestor del diálogo, es decir, de abstraer al gestor del diálogo de los canales por los que se recibe el mensaje comunicativo. Este módulo, surge como el resultado de adaptar la teoría de actos comunicativos en la interacción entre humanos a nuestro sistema de interacción. Su función es la de empaquetar la información sensorial emitida por los módulos sensoriales de RDS (siguiendo un algoritmo de detección de actos comunicativos, desarrollado para este trabajo), y entregarlos al gestor del diálogo en cada turno del diálogo. Para potenciar la multimodalidad, se añadieron nuevos modos de entrada al sistema. El sistema de localización de usuarios, que en base al análisis de varias entradas de información, entre ellas la sonora, consigue identificar y localizar los usuarios que rodean al robot. La gestión de las emociones del robot y del usuario también forman parte de las modos de entradas del sistema, para ello, la emoción del robot se genera mediante un módulo externo de toma de decisiones, mientras que la emoción del usuario es percibida mediante el análisis de las características sonoras de su voz y de las expresiones de su rostro. Por último, otras modos de entrada incorporados han sido la lectura de etiquetas de radio frecuencia, y la lectura de texto escrito. Por otro lado, se desarrollaron nuevos modos expresivos o de salida. Entre ellos destacan la expresión de sonidos no-verbales generados en tiempo real, la capacidad de cantar, y de expresar ciertos gestos “de enganche” que ayudan a mejorar la naturalidad de la interacción: mirar al usuario, afirmaciones y negaciones con la cabeza, etc.In recent years, in the Human-Robot Interaction (HRI) area, there has been more interest in situations where users are not technologically skilled with robotic systems. For these users, it is necessary to use interactive techniques that don’t require previous specific knowledge. Any technological skill must not be assumed for them; the only one permitted is to communicate with other human users. The techniques that will be shown in this work have the goal that the robot or system displays information in a way that these users can understand it perfectly. In other words, in the same way they would do with any other human, and the robot or system understands what users are expressing. To sum up, the goal is to emulate how humans are interacting. In this thesis a natural interaction system has been developed and tested, it has been called Robotics Dialog System (RDS). It allows users and robotic communication using different channels. The system is comprised of many modules that work together co-ordinately to reach the desired natural interactivity levels. It has been designed inside a robotic control architecture and communicates with all the other systems: decision management system, sequencer, communication system, games, sensorial and movement skills, etc. This thesis contributes to the state-of-the-art in two levels. First, in a high level, it is shown a Human-Robot Interaction System (RDS) with multimodal dialogs. Second, in the lower level, in each chapter the specifically designed components for this RDS system will be described. All of them will contribute to the state-of-the-art individually to their scientific subject. Before each contribution it has been necessary to update them, either by integrating or implementing the state-ofthe- art techniques. Most of them have been checked with scientific journal papers. The first works were done in the Natural Language Processing system. Analysis and experiments have been carried out with the most important existing voice recognition systems (ASR) in daily real situations. Then, some of them have been added into the RDS system in a way that they are able to work concurrently, the goal was to enhance the voice recognition precision and enable several complementary input methods. Then, the research focus was move to adapt the interaction between several types of microphones and acoustic environments. Finally, the system was extended to be able to identify several languages and users, using for this later their voice tone. The next system to be focused was the natural language generator, whose main objectives within this thesis boundaries were to reach a certain level of intelligence and naturalness, to be multilingual, to have several voice tones and to express emotions. The system architecture was designed to be comprised of several modules and abstraction layers because several voice synthesis engines needed to be integrated. A pattern-based mechanism was also added to the system in order to give it some natural variability and to generate non-predefined sentences in a conversation. Then the Dialog Management System (DMS) was the next challenge. First of all, the existing paradigms whose behaviour is based in filling information gaps were analysed to choose the best one. Secondly, the system was modified and tailored to be adapted to users (by means of user profiling) and finally, some general knowledge was added (by using pre-defined files). At the same time the Multi-modal Module was developed. Its goal is to abstract this multi-modality from the DMS, in other words, the DMS system must use the message regardless the input channel the message used to reach it. This module was created as a result of adapting the communicative act theory in interactions between human beings to our interaction system. Its main function is to gather the information from the RDS sensorial modules (following an ad-hoc communicative act detection algorithm developed for this work) and to send them to the DMS at every step of the communicative process. New modes were integrated on the system to enhance this multi-modality such as the user location system, which allows the robot to know the position around it where the users are located by analysing a set of inputs, including sound. Other modes added to the system are the radio frequency tag reader and the written text reader. In addition, the robot and user emotion management have been added to the available inputs, and then, taken into account. To fulfil this requirement, the robot emotions are generated by an external decision-maker software module while the user emotions are captured by means of acoustic voice analysis and artificial vision techniques applied to the user face. Finally, new multi-modal expressive components, which make the interaction more natural, were developed: the capacity of generating non-textual real-time sounds, singing skills and some other gestures such as staring at the user, nodding, etc.Programa Oficial de Doctorado en Ingeniería Eléctrica, Electrónica y AutomáticaPresidente: Carlos Balaguer Bernaldo de Quirós.- Vocal: Antonio Barrientos Cru

Abordaje mininamente invasivo del carcinoma de endometrio: laparoscopia convencional frente a laparoscopia robótica

El cáncer de endometrio (CE) es la neoplasia del tracto genital femenino más común en los países desarrollados y la tendencia en los próximos años es que las cifras, tanto de casos nuevos como de mortalidad, sigan aumentando (1, 2). La piedra angular del tratamiento es quirúrgico, es la histerectomía total extrafascial, y debe realizarse linfadenectomía pélvica y paraórtica, según recomendación de la FIGO en lo tumores de tipo no endometrioide, y en los endometrioides de riesgo intermedio y alto riesgo (3), lo que supone la indicación de una cirugía de gran agresividad en pacientes a menudo de edad avanzada, con gran número de enfermedades concomitante, y con altas tasas de obesidad, y esto supone un mayor riesgo quirúrgico para la paciente, y a menudo cirugías se tornan un verdadero reto para el cirujano. Tradicionalmente, la cirugía del cáncer de endometrio ha sido la laparotomía, pero la laparoscopia ha demostrado ser una vía factible desde el punto de vista técnico, y segura desde el punto de vista oncológico, y con la que es posible disminuir drásticamente la morbimortalidad de estas pacientes por el tratamiento quirúrgico, permitiendo así un tratamiento adyuvante más precoz y en mejores condiciones físicas, en aquellas señoras en las que la cirugía no haya sido suficiente (4,5,6). Como aspectos negativos, la laparoscopia precisa de un grado de entrenamiento y destreza quirúrgica muy avanzados, incomodidadesergonómicas, y un mayor tiempo operatorio con respecto a la laparotomía (8). La cirugía robótica, permite una visión en 3D, con desaparición del temblor, movimientos intuitivos, y una curva de aprendizaje mucho más corta, entre otras ventajas. (9,10). Objetivo principal: - Comparar, en nuestro medio, los resultados quirúrgicos perioperatorios de dos modalidades de tratamiento mínimamente invasivo: la cirugía con teleasistencia robótica y la laparoscópica convencional, en el tratamiento del cáncer de endometrio. Objetivos secundarios: - Estudiar la supervivencia global y libre de enfermedad en nuestra población, determinar si afecta a la supervivencia el uso de una u otra vía quirúrgica. - Analizar si otros factores pueden afectar, independientemente de la vía quirúrgica seleccionada, a la supervivencia global o a la aparición de recaída. - Estudio de costes del tratamiento quirúrgico laparoscópico asistido por robot en las pacientes operadas de cáncer de endometrio en nuestro medio

Actas de las XXXIV Jornadas de Automática

Postprint (published version

Evolución y previsiones del transporte por carretera en España y su repercusión en el medio ambiente

Las conclusiones a las que se ha llegado con este PFC son las siguientes: El transporte de mercancías por carretera, debido a su carácter estratégico y a su importancia económico-social se ha convertido en un sector fundamental para el desarrollo de los países. Por tanto en el horizonte del año 2050 tiene asegurada su supremacía sobre los demás sistemas de transporte. Pero no podemos olvidar que también es uno de los componentes que más contribuyen a la contaminación y al cambio climático, debido al alto grado de emisión de GEI (Gases de Efecto Invernadero) por el uso de combustibles fósiles. Para garantizar la sostenibilidad del transporte por carretera, debemos sustituir a la mayor brevedad los combustibles fósiles por nuevos combustibles y sistemas de propulsión, más eficientes y menos contaminantes. El transporte por carretera presenta una problemática específica que gira en torno a las emisiones de GEI y que se resume en los puntos siguientes: No hay combustibles fósiles para atender el aumento de la demanda que provocará la motorización de los países emergentes. Se espera que en 2050 habrá más de 2.000 millones de vehículos circulando. El parque automovilístico chino puede crecer en tasas anuales superiores al 20%. El precio de la gasolina y el gasóleo no deja de subir y esta tendencia se va a mantener en los próximos años. El aumento de emisiones provocado por la motorización de los países emergentes y el crecimiento de la demanda mundial de transporte es incompatible con una conservación mínimamente aceptable del medio ambiente. Las mejoras de las tecnologías usadas actualmente permitirán reducir los consumos y emisiones hasta un 50% en los próximos 10-15 años. Pero esto no es suficiente y deberemos elegir un combustible y una tecnología que tengan una evolución asegurada. Los nuevos combustibles no deben ser más caros que los combustibles fósiles. Sistemas de propulsión lo más sencillo posible y con un mantenimiento mínimo que permitan una mejoría técnica y una reducción de precios en los próximos años. Los datos disponibles indican que todos los combustibles alternativos serán necesarios para alcanzar el objetivo de reducir las emisiones de CO2 entre un 80% y un 95% en 2050, con respecto a los niveles registrados en 1990. Existen dos combustibles que, desde el punto de vista técnico, se pueden utilizar en todos los medios y tecnologías de transporte: LOS BIOCOMBUSTIBLES Y LOS COMBUSTIBLES SINTÉTICOS. Sin embargo, la sustitución completa de los combustibles fósiles no puede basarse únicamente en ellos, ya que la disponibilidad de materias primas y las implicaciones de su uso en términos de sostenibilidad medioambiental limitan su potencial. Por ello, la estrategia a largo plazo de sustitución completa de los combustibles fósiles deberá tener en cuenta todas las opciones de combustibles alternativos existentes. Los combustibles más recomendables para el transporte por carretera, en función de factores como la densidad energética de los combustibles, la compatibilidad con los vehículos y las emisiones, los costes y la disponibilidad en el mercado y la seguridad en los procesos de producción, distribución, almacenamiento, recargas de vehículos y uso, son: Para distancias cortas y ámbito urbano: Vehículos eléctricos. Para distancias medias: Vehículos de hidrógeno y metano. Para distancias largas: Biocarburantes, combustibles sintéticos, GNL y GLP.Escuela Técnica Superior de Ingeniería IndustrialUniversdiad Politécnica de Cartagen

Manipulador aéreo con brazos antropomórficos de articulaciones flexibles

[Resumen] Este artículo presenta el primer robot manipulador aéreo con dos brazos antropomórficos diseñado para aplicarse en tareas de inspección y mantenimiento en entornos industriales de difícil acceso para operarios humanos. El robot consiste en una plataforma aérea multirrotor equipada con dos brazos antropomórficos ultraligeros, así como el sistema de control integrado de la plataforma y los brazos. Una de las principales características del manipulador es la flexibilidad mecánica proporcionada en todas las articulaciones, lo que aumenta la seguridad en las interacciones físicas con el entorno y la protección del propio robot. Para ello se ha introducido un compacto y simple mecanismo de transmisión por muelle entre el eje del servo y el enlace de salida. La estructura en aluminio de los brazos ha sido cuidadosamente diseñada de forma que los actuadores estén aislados frente a cargas radiales y axiales que los puedan dañar. El manipulador desarrollado ha sido validado a través de experimentos en base fija y en pruebas de vuelo en exteriores.Ministerio de Economía y Competitividad; DPI2014-5983-C2-1-